Personalized information retrieval based on context and ontological knowledge

The article has been accepted for publication and appeared in a revised form, subsequent to peer review and/or editorial input by Cambridge University PressExtended papers from C&O-2006, the second International Workshop on Contexts and Ontologies, Theory, Practice and Applications1 collocated with the seventeenth European Conference on Artificial Intelligence (ECAI)Context modeling has been long acknowledged as a key aspect in a wide variety of problem domains. In this paper we focus on the combination of contextualization and personalization methods to improve the performance of personalized information retrieval. The key aspects in our proposed approach are a) the explicit distinction between historic user context and live user context, b) the use of ontology-driven representations of the domain of discourse, as a common, enriched representational ground for content meaning, user interests, and contextual conditions, enabling the definition of effective means to relate the three of them, and c) the introduction of fuzzy representations as an instrument to properly handle the uncertainty and imprecision involved in the automatic interpretation of meanings, user attention, and user wishes. Based on a formal grounding at the representational level, we propose methods for the automatic extraction of persistent semantic user preferences, and live, ad-hoc user interests, which are combined in order to improve the accuracy and reliability of personalization for retrieval.This research was partially supported by the European Commission under contracts FP6-001765 aceMedia and FP6-027685 MESH. The expressed content is the view of the authors but not necessarily the view of the aceMedia or MESH projects as a whole

COST292 experimental framework for TRECVID 2008

In this paper, we give an overview of the four tasks submitted to TRECVID 2008 by COST292. The high-level feature extraction framework comprises four systems. The first system transforms a set of low-level descriptors into the semantic space using Latent Semantic Analysis and utilises neural networks for feature detection. The second system uses a multi-modal classifier based on SVMs and several descriptors. The third system uses three image classifiers based on ant colony optimisation, particle swarm optimisation and a multi-objective learning algorithm. The fourth system uses a Gaussian model for singing detection and a person detection algorithm. The search task is based on an interactive retrieval application combining retrieval functionalities in various modalities with a user interface supporting automatic and interactive search over all queries submitted. The rushes task submission is based on a spectral clustering approach for removing similar scenes based on eigenvalues of frame similarity matrix and and a redundancy removal strategy which depends on semantic features extraction such as camera motion and faces. Finally, the submission to the copy detection task is conducted by two different systems. The first system consists of a video module and an audio module. The second system is based on mid-level features that are related to the temporal structure of videos

Adaptive multimedia content access based on context and user profiles

The main research objective of this Thesis is to tackle issues related to multimedia content processing, search and retrieval, under the prism of context, as the latter is expressed in the fields of knowledge adaptation and information access. More specifically, the main research motivation was caused by two major research fields: (i) multimedia content personalization and (ii) multimedia content analysis based on visual context. It tackles issues such as data mining, thematic categorization of multimedia documents, multimedia personalization, retrieval and ranking of personalized multimedia documents, knowledge-assisted analysis optimization through visual context exploitation, mid-level visual analysis and context utilization, contextual image classification problems, etc. Towards this direction, it presents research results and indicative implementations/applications, in order to facilitate the proposed interpretation.Αντικείμενο της παρούσης διδακτορικής διατριβής είναι η αντιμετώπιση θεμάτων ανάλυσης, αναζήτησης και ανάκτησης πολυμεσικού περιεχομένου με προσαρμογή στο εκάστοτε εννοιολογικό πλαίσιο της πρόσβασης σε αυτό. Δύο είναι οι κεντρικοί άξονες που αποτέλεσαν το κίνητρο αλλά και τον προσανατολισμό της έρευνας στη συγκεκριμένη θεματική περιοχή: (i) η προσωποποιημένη πρόσβαση στο πολυμεσικό περιεχόμενο, προσαρμοζόμενη στις προτιμήσεις των χρηστών και στο διαθέσιμο ιστορικό πρόσβασης σε αυτό και (ii) η αποδοτική ανάλυση και αναζήτηση του πολυμεσικού περιεχομένου με βάση το εννοιολογικό πλαίσιο. Προκειμένου να πραγματοποιηθεί μια εμπεριστατωμένη και όσο το δυνατόν πλήρης παρουσίαση των ερευνητικών πεπραγμένων, παρουσιάζονται τόσο θεωρητικά αποτελέσματα, όσο και εφαρμογές. Συγκεκριμένα, τα περιεχόμενα της διατριβής χωρίζονται στις ακόλουθες τέσσερις βασικές ενότητες: • Εξόρυξη δεδομένων και κατηγοριοποίηση. Η ενότητα αυτή επιχειρεί να παρουσιάσει ορισμένες βασικές μεθοδολογίες αντιμετώπισης ερευνητικών θεμάτων ιδιαίτερου ενδιαφέροντος που άπτονται άμεσα των περιοχών της εξόρυξης δεδομένων και της κατηγοριοποίησης πολυμεσικών εγγράφων. Συγκεκριμένα, προτείνεται αρχικά μια επέκταση της κλασικής μεθόδου της ιεραρχικής συσταδοποίησης, η οποία χρησιμοποιεί μια ασαφή επιλογή χαρακτηριστικών γνωρισμάτων για τον καθορισμό της μετρικής που καθορίζει τις αποστάσεις των συστάδων μεταξύ τους. Η τεχνική αυτή οδηγεί σε μία μείωση των διαστάσεων των χαρακτηριστικών γνωρισμάτων και βρίσκει εφαρμογή σε περιπτώσεις συνόλων δεδομένων που χαρακτηρίζονται από υψηλές διαστάσεις, όπως ακριβώς είναι αυτά που απαντώνται κατά την ανάλυση πολυμεσικής πληροφορίας. Στη συνέχεια, προτείνοντας μια νέα μεθοδολογία βελτιστοποίησης της ανωτέρω τεχνικής συσταδοποίησης που βασίζεται στη χρήση μίας τεχνικής κατηγοριοποίησης, αντιμετωπίζονται κάποια από τα θεμελιώδη προβλήματα των ιεραρχικών αλγορίθμων συσταδοποίησης, όπως είναι η ευαισθησία τους σε λάθη στα αρχικά βήματα. Τα αποτελέσματα της αρχικής συσταδοποίησης βρίσκουν εφαρμογή στην ασαφή θεματική κατηγοριοποίηση εγγράφων πολυμεσικής πληροφορίας. Στη διαδικασία ορίζεται, μοντελοποιείται και λαμβάνεται υπόψη το ταξινομικό εννοιολογικό πλαίσιο με ιδιαίτερα ελπιδοφόρα αποτελέσματα. Τέλος, παρουσιάζεται μια βελτιωμένη εκδοχή της παραπάνω πρότασης κατηγοριοποίησης, η οποία λαμβάνει υπόψη της μια σειρά από υπηρεσίες εξαγωγής συμπερασμάτων, προκειμένου να προσδιοριστεί αποτελεσματικά η σημασιολογία των εγγράφων. • Προσωποποιημένη πρόσβαση. Η προσωποποίηση του πολυμεσικού περιεχομένου εξετάζεται από την σκοπιά των προτιμήσεων των χρηστών και του ιστορικού χρήσης που δημιουργείται. Δίνεται ιδιαίτερη έμφαση στη χρήση και δημιουργία κατάλληλων οντολογιών για την αναπαράσταση της απαιτούμενης γνώσης, στη χρήση στοιχείων που πηγάζουν από τη θεωρία της ασαφούς σχεσιακής άλγεβρας, στην τροποποίηση και χρήση κατάλληλων ασαφών σημασιολογικών σχέσεων, καθώς και στην επιρροή που ασκεί η έννοια του εννοιολογικού πλαισίου στη διαδικασία ανάκτησης πληροφοριών. Ειδικότερα, προτείνεται η χρήση ασαφών σχέσεων ως επέκταση των σχέσεων που λαμβάνουν λογικές τιμές 0 ή 1 και εμφανίζονται στις κλασικές οντολογίες, καθώς είναι πολύ πιο εκφραστικές κατά την αναπαράσταση της γνώσης και πολύ πιο κοντά στην αναπαράσταση των πραγματικών συνθηκών ζωής. Οι σχέσεις αυτές υλοποιούνται ακολουθώντας τα τελευταία πρότυπα του Σημασιολογικού Ιστού, όπως είναι οι γλώσσες RDF και OWL, καθώς και η τεχνική reification. Στη συνέχεια, ορίζεται και παρουσιάζεται η έννοια του εννοιολογικού πλαισίου, η οποία στην παρούσα ερευνητική εργασία είναι διττή και λαμβάνει δύο από τις πολλαπλές πιθανές εκφάνσεις της: αυτή του ταξινομικού εννοιολογικού πλαισίου και αυτή του εννοιολογικού πλαισίου κατά το χρόνο εκτέλεσης. Και στις δύο περιπτώσεις, όμως, ορίζεται (με τη χρήση και τον κατάλληλο συνδυασμό ασαφών σημασιολογικών σχέσεων) και περιγράφεται η μεθοδολογία εκτίμησης του εννοιολογικού πλαισίου, ξεκινώντας από ένα ασαφές σύνολο σημασιολογικών οντοτήτων μιας οντολογίας. Καθορίζεται η απαιτούμενη αναπαράσταση γνώσης και εξετάζονται ζητήματα που αφορούν στον ορισμό, στην εξαγωγή και στη χρήση προτιμήσεων και κατατομών (προφίλ) χρηστών. Τέλος, παρουσιάζονται τα αποτελέσματα της ερευνητικής δραστηριότητάς μας πάνω σε θέματα σχετικά με την ανάκτηση προσωποποιημένης πολυμεσικής πληροφορίας. Συζητείται η αυτόματη θεματική κατηγοριοποίηση πολυμεσικών εγγράφων μέσω της ιεραρχικής συσταδοποίησης των οντοτήτων που περιέχουν, η αναπαράσταση, η ανίχνευση και ο χειρισμός των προφίλ των χρηστών στο σημασιολογικό επίπεδο με τη χρήση του εννοιολογικού πλαισίου και η ανίχνευση προφίλ χρηστών από μεταδεδομένα, με χρήση της συσταδοποίησης υψηλών διαστάσεων και της ασαφούς επιλογής χαρακτηριστικών γνωρισμάτων. • Εννοιολογικό πλαίσιο και οπτική πληροφορία. Ανάμεσα στους κύριους στόχους της ερευνητικής εργασίας μας βρίσκεται και η πραγματοποίηση υψηλού επιπέδου ανάλυσης και μοντελοποίησης πολυμεσικών εγγράφων¹, με απώτερο στόχο την αυτόματη κατηγοριοποίηση και σημασιολογική αναζήτησή τους. Παρουσιάζεται, λοιπόν, στην τρίτη ενότητα, μια πρωτότυπη μεθοδολογία ανάλυσης της πληροφορίας κειμένου αλλά και της οπτικής πληροφορίας, η οποία βασίζεται σε γνώση αποθηκευμένη σε οντολογίες (ontologies), η ανάπτυξη των οποίων βασίζεται σε συγκεκριμένες δομές και προηγείται χρονικά των αλγορίθμων ανάλυσης. Καθώς οι οντολογίες αποτελούν ένα μέσο διαχείρισης και οργάνωσης της γνώσης με σκοπό την εξαγωγή συμπερασμάτων, η χρήση τους έχει σημαντικά αποτελέσματα όσον αφορά στις επιδόσεις αρχειοθέτησης, κατηγοριοποίησης και αναζήτησης της πολυμεσικής πληροφορίας. Στη συνέχεια παρουσιάζεται ο ρόλος του εννοιολογικού πλαισίου κατά την ανάλυση πολυμεσικής πληροφορίας, ενώ προτείνονται τεχνικές μοντελοποίησής του, καθώς και μεθοδολογίες υπολογισμού του. Στο πεδίο της ανάλυσης, το εννοιολογικό πλαίσιο ορίζεται (όπως και στην περίπτωση της προσωποποίησης περιεχομένου) και πάλι με τη βοήθεια οντολογιών και πληροφορίας κατηγοριοποίησης. Τέλος, γίνεται μια εκτενής αναφορά στις εφαρμογές της χρήσης του εννοιολογικού πλαισίου σε τεχνικές και υλοποιήσεις κατά τη διαδικασία ανάλυσης πολυμεσικής πληροφορίας και εξετάζονται τα αποτελέσματα της έρευνάς μας σε τομείς όπως η βασισμένη σε γνώση ανάλυση εικόνων, η κατάτμηση εικόνων και η εξαγωγή σημασιολογικών συμπερασμάτων με χρήση ενός γενετικού αλγορίθμου. • Εννοιολογικό πλαίσιο ταξινόμησης. Στο τελευταίο μέρος της διατριβής επεκτείνεται η ερευνητική εργασία μας πάνω στα ενδιάμεσου επιπέδου χαρακτηριστικά γνωρίσματα των εικόνων και στην εκμετάλλευση της αντίστοιχης πληροφορίας. Ειδικότερα, εστιάζουμε στην αναγνώριση υψηλού επιπέδου εννοιών μέσα σε πολυμεσικά έγγραφα με την εισαγωγή καινοτόμων παραστάσεων, όπως είναι οι οντότητες ενδιάμεσου επιπέδου και οι αντίστοιχες οντολογίες τους. Εισάγονται τρία σχετικά είδη, τα οποία επεκτείνουν την ανεπτυγμένη στην προηγούμενη ενότητα κλασική θεώρηση της επίδρασης του εννοιολογικού πλαισίου, τόσο προς την κατεύθυνση των σημασιολογικών εννοιών, όσο και των τύπων περιοχής (region types). Μοντελοποιείται και υλοποιείται η απαιτούμενη γνώση, καθορίζονται οι σχέσεις μεταξύ των νέων ειδών και εξηγείται πώς οι προτεινόμενοι αλγόριθμοι και μεθοδολογίες διαχείρισης του οπτικού εννοιολογικού πλαισίου μπορούν να συνδυαστούν αποδοτικά για να επιτευχθεί ο στόχος της σημασιολογικής πολυμεσικής ανάλυσης. Τέλος, παρουσιάζονται ποικίλα πειραματικά αποτελέσματα από την εν λόγω ενσωμάτωση του εννοιολογικού πλαισίου στη διαδικασία της ανάλυσης, μέσω της εξαγωγής τύπων περιοχών και ομάδων οντοτήτων

A relation-based contextual approach for efficient multimedia analysis

In this paper we present our research work on the identification of high-level concepts within multimedia documents through the introduction and utilization of contextual relations. A conceptual ontology is introduced, as the means of exploiting the visual context of images, in terms of high-level concepts and region types they consist of. A meaningful combination of these features results in a computationally efficient handling of visual context and extraction of mid-level characteristics towards the ultimate goal of semantic multimedia analysis. Evaluation results are presented on a medium-size dataset, consisting of 1435 images, 25 region types and 6 high-level concepts derived from the beach domain of interest

DOI: 10.1017/S000000000000000 Printed in the United Kingdom

Personalized information retrieval based on context and ontological knowledg